Tháng 9 năm 1939, von Rundstedt được Adolf Hitler mời tái ngũ và công tác trong bộ chỉ huy Cụm tập đoàn quân Phương Nam trong cuộc tấn công lấn chiếm Ba Lan. Sau đó tại Mặt trận phía Tây, ông chỉ huy 7 sư đoàn xe tăng, 3 sư đoàn mô tô cơ động, và 35 sư đoàn bộ binh, hỗ trợ cho cuộc tấn công "nắm đấm thiết giáp" của tướng Erich von Manstein xâm lăng nước Pháp.

Ngày 14 tháng 5 1940, tướng Heinz Guderian kéo các sư đoàn thiết giáp sang sông Meuse và tạo lỗ hổng trong trận tuyến của quân Đồng Minh. Tướng von Rundstedt sợ các binh đoàn của ông không đủ sức, kêu thêm bộ binh tiếp viện và do đó chần chờ không đánh sớm. Nhờ vậy mà quân Anh có thêm thời gian chạy thoát về Dunkirk. Kế đến, khi Dunkirk thất thủ, von Rundstedt lại ra lệnh không cho quân mình đánh rấn vào bãi biển khi quân Anh đang nhốn nháo bỏ chạy ra biển, tạo cơ hội cho đám bại binh kịp leo lên chiến thuyền chạy thoát lần nữa. Những lỗi lầm chiến thuật này làm các đồng liêu khó chịu, nhưng von Rundstedt bào chữa rằng chính Hitler muốn thế vì biết đâu khi chính phủ Anh thấy quân bại trận của mình được cho đào thoát, có thể sẽ muốn làm hòa với Đức. Tuy điều này không thể chứng minh được, việc Hitler im lặng không xử phạt von Rundstedt có lẽ là một câu trả lời.

Rundstedt muốn để dành lực lượng cơ giới tấn công miền nam và dứt điểm các căn cứ kháng cự tại Pháp nhưng Göring khuyên Hitler cho Luftwaffe thực hiện công tác này.[4]

Von Rundstedt sau đó thăng chức thống chế (tiếng Đức: Generalfeldmarschall) ngày 19 tháng 7 năm 1940 và tham gia chuẩn bị cho chiến dịch Sư tử Biển (âm mưu đổ bộ tấn công sang Anh Quốc). Khi chiến dịch bị bãi bỏ thì von Rundstedt được cử làm chỉ huy quân lực chiếm đóng vùng Tây Âu với nhiệm vụ tăng cường phòng thủ bờ biển Đại Tây Dương tại Hà Lan, Bỉ và Pháp.

Chiến dịch Barbarossa

Thống chế Gerd von Rundstedt tại mặt trận phía Tây năm 1944

Tháng 6 năm 1941 von Rundstedt tham gia cuộc hành quân Barbarossa chỉ huy Cụm tập đoàn quân Phương Nam gồm 52 sư đoàn bộ binh và 5 sư đoàn thiết giáp tấn công Liên Xô. Tuy lúc đầu quân của ông tiến chậm nhưng đến tháng 9 thì cánh quân này chiếm được Kiev, bắt được 65000 tù binh Nga. Sau đó von Rundstedt kéo quân đánh Kharkov và Rostov. Ông đề nghị Hitler đừng tiến quân vào mùa đông buốt giá nhưng Hitler không nghe theo lời khuyên này.

Tháng 11 von Rundstedt bị đau tim nhưng không chịu nằm viện, tiếp tục tấn công và kéo đến Rostov ngày 21 tháng 11. Khi bị quân Nga đánh bật ra, von Rundstedt xin cho lui quân. Hitler giận dữ cho tướng Walther von Reichenau lên thay thế cần quân và triệu von Rundstedt về nước.

Ban tham mưu gồm tướng Rommel, von Rundstedt, Gause và Zimmermann tại Paris

Phòng thủ Tây Âu

Hitler lại kêu von Rundstedt trở lại binh nghiệp vào tháng 3 năm 1942 và cho làm chỉ huy mặt trận phía Tây. Von Rundstedt sang Pháp nhưng làm việc khá ù lỳ. Cho đến mùa thu năm 1943 mà ông vẫn chưa làm xong các căn cứ phòng thủ dọc biển Đại Tây Dương. Khi Erwin Rommel được Hitler cử sang làm phụ tá đốc thúc thì công trình xây dựng phòng thủ mới bắt đầu tiến hành khẩn trương theo dự định.

Trong các cuộc tham mưu chống quân Đồng Minh đổ bộ, von Rundstedt cho rằng phải đặt các đoàn thiết giáp bên trong đất Pháp để có thể đem ra bất cứ chỗ nào mà quân Đồng Minh đổ bộ vào. Các tướng thiết giáp là Geyr von Schweppenberg và Heinz Guderian đồng ý. Nhưng Rommel lại chống ý kiến này, đề nghị là nên đem thiết giáp ra gần các bãi biển, chỉ cần xa hơn tầm pháo để tránh khỏi bị tàu chiến từ ngoài khơi bắn vào. Sau kinh nghiệm tại chiến cuộc Bắc Phi, Rommel nghĩ rằng máy bay của Đồng Minh sẽ không bay vào xa hơn thế. Rundstedt cho rằng Đồng Minh sẽ không đổ bộ vào Normandie vì thế chỉ nên để một ít quân thiết giáp trấn giữ khu này. Tuy vì tình thế phải nghe theo, Rommel rất áy náy khi thấy khu Normandie không được phòng thủ vững chắc.

Gerd von Rundstedt nghe thông dịch trong cuộc tra vấn về tội ác chiến tranh

Ngày 6 tháng 6 năm 1944 quân Đồng Minh đổ bộ vào Normandie và quân Đức đại bại vì thiếu lực lượng phòng thủ. Thấy nguy, von Rundstedt khuyên Hitler cầu hòa với quân Đồng Minh. Hitler giận dữ, đuổi ông ra và cho thống chế Günther von Kluge thay quyền cầm quân.

Sau vụ âm mưu 20 tháng 7, von Rundstedt cùng Guderian và Wilhelm Keitel làm quan tòa của cuộc xử tội các sĩ quan trong nhóm âm mưu giết Hitler. Tóa án quân sự cách chức các sĩ quan tướng lãnh này và trao họ cho tổ chức cảnh sát. Nhiều sĩ quan sau đó bị thủ tiêu hay xử tử.

Giữa tháng 8 năm 1944, von Kluge tự tử và thống chế Walter Model lên chỉ huy Mặt trận phía Tây trong 18 ngày thì Hitler lại cho von Rundstedt lên thay. Ông nhanh chóng điều khiển binh lính và đánh thắng quân Đồng Minh trong chiến dịch Market Garden. Nhưng sau đó ông lại phủi tay không chịu tham gia cuộc tổng phản công tại Ardennes. Tháng 3 năm 1945 khi nghe được von Rundstedt tâm sự với Keitel là Đức Quốc xã nên cầu hòa với Đồng Minh thay vì ráng cầm cự vô ích, Hitler lần nữa lại đuổi von Rundstedt về vườn.